home *** CD-ROM | disk | FTP | other *** search
/ Aminet 24 / Aminet 24 (1998)(GTI - Schatztruhe)[!][Apr 1998].iso / Aminet / comm / tcp / tcpdl.lha / tcpdl.doc < prev    next >
Text File  |  1998-01-30  |  21KB  |  663 lines
  1. tcpdl V2.3b distribution                                January 1998
  2.  
  3.  
  4. CONTENTS
  5. ========
  6.  
  7. This archive consists of the following files:
  8.  
  9.   tcpdl 2.3       the tcpdl http download program
  10.  
  11.   tcpdlpp 1.4     the post processor for downloaded pages
  12.  
  13.   tcpdl.doc       this document
  14.  
  15.   urllist         example urllist file
  16.  
  17.   tcpdl.config    example tcpdl.config file
  18.  
  19.   tcpdlpp.config  example tcpdlpp.config file
  20.  
  21.  
  22. INTRODUCTION
  23. ============
  24.  
  25. tcpdl is a program to download files from http hosts. Files to be
  26. downloaded are listed in a file called "tcpdldir:urllist".
  27.  
  28. tcpdlpp is a program to post process files that have been downloaded
  29. by tcpdl. This amends the URLs within each html file so that the 
  30. downloaded pages may be used locally, while any URLs that have not
  31. been downloaded refer to their full URL.
  32.  
  33.  
  34. COPYRIGHT
  35. =========
  36.  
  37. tcpdl is Copyright © 1996 Patrik Nilsson
  38.          Copyright © 1997 Ramjam Consultants Ltd
  39.  
  40. tcpdlpp is Copyright © 1997 Ramjam Consultants Ltd
  41.  
  42. This archive is freely distributable, but may not be included in any 
  43. commercial software collection other than Aminet without prior permission.
  44.  
  45.  
  46. REQUIREMENTS
  47. ============
  48.  
  49. To use tcpdl you need a TCP/IP stack and a connection to a http host.
  50.  
  51. Both tcpdl and tcpdlpp should work on any Amiga system which supports
  52. a TCP stack.
  53.  
  54. In use tcpdl typically requires approx 1Mb of RAM plus 500-1000 bytes 
  55. for each file to be downloaded, and tcpdlpp requires about 100K plus
  56. 100 bytes per file to be processed.
  57.  
  58. Disk space equivalent to about twice the size of the files to be 
  59. downloaded is also required.
  60.  
  61. tcpdl tries to use Xen font for the status window. If this is not 
  62. available it will use the default font, but this may lead to some
  63. data not being readable.
  64.  
  65.  
  66. SUPPORT
  67. =======
  68.  
  69. Please report any problems, and send any suggestions or comments to:
  70.  
  71.   support@ramjam.demon.co.uk
  72.  
  73. The most recent version will always be available from 
  74.  
  75.   http://www.ramjam.demon.co.uk/software
  76.  
  77. Major versions may also be available from Aminet.
  78.  
  79. There is no requirement to register use of this program, but anyone
  80. doing so will be kept informed of updates.
  81.  
  82. Both programs have been optimised for the 68000 processor in order to 
  83. be as generic as possible.
  84.  
  85.  
  86. KNOWN PROBLEMS
  87. ==============
  88.  
  89. tcpdl:
  90.  
  91. - doesn't handle URLs which use Host Masking. 
  92.  
  93. - doesn't allow access to sites which require a userid/password.
  94.  
  95. - doesn't support the automatic download of URLs referenced by the
  96.   name attribute of the object tag. This is because the name attribute
  97.   does not always apply to a URL. Since the object tag is only supported
  98.   by IE3, and the name attribute refers to a URL that is likely to be
  99.   applicable only to IE3, this is not seen as a significant restriction.
  100.  
  101. - doesn't handle URLs containing invalid Amiga filenames as well as
  102.   it could
  103.  
  104. tcpdlpp:
  105.  
  106. - No current reported problems.
  107.  
  108.  
  109. DISCLAIMER
  110. ==========
  111.  
  112. A great deal of effort has gone into making these programs as reliable
  113. as possible. However, there is no guarantee that they will perform as
  114. described in all cases. 
  115.  
  116. These programs are used entirely at the user's own risk. No liability
  117. can be accepted for loss of data resulting from the use of these 
  118. programs.
  119.  
  120.  
  121. AKNOWLEDGEMENTS
  122. ===============
  123.  
  124. Thanks to Patrik Nilsson for the original version of tcpdl.
  125.  
  126. Thanks also to all the users of tcpdl for their comments and suggestions.
  127.  
  128.  
  129. CHANGES FROM PREVIOUS RELEASE
  130. =============================
  131.  
  132. tcpdl
  133. -----
  134.  
  135. V2.3a -> V2.3b:
  136.  
  137. - tcpdl sent http commands that some hosts didn't like - it should now
  138.   manage to talk to hosts using any version of HTTP.
  139.  
  140. - The UPDATE flag wasn't correctly propogated to all the URLs referenced
  141.   by the files marked with UPDATE in the urllist.
  142.   This was a fundamental design flaw, and so the UPDATE flag has been
  143.   removed and replaced by an UPDATE command line option which applies
  144.   to all URLs in urllist.
  145.  
  146. - The IMG flag didn't quite do what was advertised, so it has been 
  147.   amended slightly:
  148.   TEXT means all URLs that are referenced by a "href" attribute
  149.   IMG  means all URLs that are referenced by an attribute other than "href"
  150.   ALL  means all URLs that are referenced
  151.   
  152. - added a configuration option USER, which allows the mail address to be
  153.   used in the HTTP commands to be specified. By default tcpdl uses the
  154.   username and host name used by the tcp/ip stack. If the USER option
  155.   is specified with no mail address, then no From: header will be 
  156.   sent in HTTP commands.
  157.  
  158. - tcpdl used to send the user's realname to the http host - there is no
  159.   need to do this, so now it doesn't.
  160.  
  161. - fixed the DISK-ERR message, which looked untidy.
  162.  
  163. V2.3 -> V2.3a:
  164.  
  165. - made it possible to exit tcpdl when run from Workbench
  166.  
  167. - fixed enforcer hits when urllist contains a blank line
  168.  
  169. V2.2 -> V2.3:
  170.  
  171. - added support for proxy servers
  172.  
  173. - added configuration options for connection, and htpp transfer timeouts
  174.  
  175. - added configuration option for the number of retries for failed
  176.   transfers
  177.  
  178. - tcpdl now uses memory pools for its memory allocation. This improves
  179.   the allocation times slightly, but has a dramatic effect on the 
  180.   deallocation time. It also reduces the risk of memory "leakage" when
  181.   tcpdl is interrupted.
  182.  
  183. - the User Agent name has been changed to conform to RFC2068
  184.  
  185. - the tcpdl.config file is now closed as soon as it has been read
  186.  
  187. - the environment variable USERNAME is now used if USER is not set
  188.  
  189. - changed the ERROR status indicator to be more specific about the
  190.   cause of the error
  191.  
  192. V2.1 -> V2.2:
  193.  
  194. - added tcpdl.config to allow the specification of file types that are
  195.   not to be downloaded.
  196.  
  197. V2.0 -> V2.1:
  198.  
  199. - fixed problem where URLs in the urllist file which were not followed
  200.   by at least one space or tab character were ignored.
  201.  
  202.  
  203. tcpdlpp
  204. -------
  205.  
  206. V1.3 -> V1.4:
  207.  
  208. - changed the handling of URLs with a leading '/'. All URLs are now
  209.   converted to relative form, so all local links should work when
  210.   browsing off-line.
  211.  
  212. V1.2 -> V1.3:
  213.  
  214. - minor optimizations
  215.  
  216. V1.1 -> V1.2:
  217.  
  218. - improved the handling of ".." in URLs
  219.  
  220. - added optional translation of characters in URLs, by means of a new
  221.   configuration file "tcpdldir:tcpdlpp.config" 
  222.  
  223.  
  224. USING TCPDL AND TCPDLPP
  225. ======================
  226.  
  227. OVERVIEW:
  228. ---------
  229.  
  230. Both tcpdl and tcpdlpp expect the assign tcpdldir: to refer to a directory.
  231. This directory is the work area for both programs.
  232.  
  233. The urllist file, containing the list of URLs to be downloaded is expected 
  234. to be in this directory. The optional configuration files, tcpdl.config 
  235. and tcpdlpp.config should also be in this directory.
  236.  
  237. When tcpdl downloads URLs it will create two directories below tcpdldir:,
  238. DATA and HTTP. Beneath each of these, one directory will be created for
  239. each host, and beneath each of these will be the directories and files which
  240. are downloaded.
  241.  
  242. The HTTP directory contains the actual files that are downloaded, while the
  243. DATA directory contains files holding information about each file downloaded.
  244.  
  245. Example:
  246.  
  247. the following directory tree shows the structure that might result from use
  248. of the example URLs given in the "THE TCPDLDIR:URLLIST FILE" section below.
  249.  
  250.  
  251.          tcpdldir:
  252.             |
  253.             |
  254.             +------- urllist
  255.             |
  256.             |
  257.             +------- HTTP 
  258.             |         |
  259.             |         |
  260.             |         +------- www.ramjam.demon.co.uk
  261.             |         |                  |
  262.             |         |                  |
  263.             |         |                  +------- index.html
  264.             |         |                  |
  265.             |         |                  |
  266.             |         |                  +------- amiga
  267.             |         |                  |          |
  268.             |         |                  |          |
  269.             |         |                 ...        ...
  270.             |         |
  271.             |         |
  272.             |         +------- www.cu-amiga.co.uk
  273.             |         |                  |
  274.             |         |                  |
  275.             |         |                  +------- index.html
  276.             |         |                  |
  277.             |         |                  |
  278.             |        ...                ... 
  279.             |
  280.             |
  281.             +------- DATA 
  282.